#LLM Coding Agents

3 篇

Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?

自动化科学机器学习：前沿 Agent 能否在真实场景中攀登科学之丘

🧭 科学ML自动化智能体评测与增强 ★ 深度解读

Anthropic Fellows Program · Anthropic

构建AGENT4SCI科学ML测试床，前沿Agent在20个基准上平均相对提升10.4%，加技能后达20.1%，提升主要来自工程技巧而非科学洞见

📌 工作参考价值（4 点）

三阶段隔离评测可直接迁移到广告/推荐的自动调参或 Agent 实验平台：让“跑实验的 Agent”看不到评估集，由独立评估 Agent 打分、审计 Agent 查作弊，可避免测试集泄漏和指标操纵。
在长时 AutoML 任务中加入“每小时自检”checklist，强制 Agent 回答“当前是否只在调 seed/lr”，可有效防止早收敛到局部超参搜索；电商/推荐模型调优可显式限制纯超参调优轮次，要求周期性提出新结构/新特征。
research ideation 用夸张 persona + 文献挖掘引导提出更有领域结构的方法；在搜索/推荐中可让 Agent 先挖内部业务文档和公开论文，再提出具有业务/物理约束的辅助损失或架构调整，而不仅是换 backbone。
显式 experiment management 指令（并行实验、避免 CPU/GPU 争抢、实时监控）能显著提升长时任务效率，适合 12 小时级推荐模型重训或特征回放实验。

Eval | 2026-10-19 | HF Daily | score 8/10

TestPrism：超越单参考的代码测试评估与 TestHelix 改进

🧭 LLM 代码测试生成评估

Nanjing University · Hong Kong Polytechnic University · Tencent

提出 TestPrism 基准与联合成功函数，揭示单参考评估高估测试质量，并用 TestHelix 将联合成功率提升 8.67-9.00 个百分点

📌 工作参考价值（4 点）

评估生成式输出（如 query 推荐、文案改写、搜索建议）时，不要只用单一参考做金标准：构建多个有效/无效候选，要求模型同时接受所有有效变体、拒绝所有无效变体，避免指标虚高。
Agent 工作流中引入「同行交叉验证」：多个模型/策略互相打分、过滤，能提升生成结果的稳健性，可直接用于推荐文案、搜索词等多候选生成场景。
借鉴 TestHelix 的递归自我改进：用失败样本构造「错误→修复」对，迭代微调或 self-training，适合用于低资源场景下生成式推荐的冷启动或长尾覆盖。
异质合成正负样本的思路可迁移到推荐/搜索的训练数据构建：混合不同来源/策略生成多样化有效和无效样本，增强模型对边界情况的区分能力。

Eval | 2026-10-07 | HF Daily | score 6/10

CLI编程代理的失败轨迹：一项过程导向的实证解剖

🧭 Agent 故障过程分析

University College London · Nanjing University

首次大规模实证分析LLM CLI编程代理的失败轨迹，发现失败主要由认知错误驱动且早期隐蔽。

📌 工作参考价值（4 点）

代理监控引入过程性指标：不应仅以最终成败评估代理，可借鉴失败轨迹三阶段（onset, evolution, recovery），在推荐/搜索代理的交互过程中实时监测错误征兆，尤其是认知类错误（如错误理解环境状态），在早期步骤插入校验。
早期干预策略设计：论文指出多数失败在前几步就已埋下伏笔，且修复机会随时间衰减。在电商Agent工作流（如自动选品、广告出价）中，可对前几个动作设置更严格的沙箱验证或人工确认，阻断错误传播。
分阶段日志分析与故障归因：对线上代理的失败案例进行复盘时，可按执行步骤切片并标注错误类型（epistemic vs. aleatoric），定位“不可恢复点”，用于优化提示或工具描述。
多框架与模型一致性发现：研究覆盖7个模型、3个coding脚手架，其失败模式具有跨系统一致性，说明某些薄弱点（如对环境状态的误判）是LLM本质缺陷，对多Agent协作系统（如竞品分析、商品信息检索）的可靠性设计有普适参考价值。

Agent | 2026-07-10 | cs.AI | score 6/10